Second Thought: Reasoning in Parallel as LLM Agents Act and Observe
第二思考：LLM Agent 行动与观察期间并行推理
🧭 Agent 推理时延优化 · 异步并行思考 ★ 深度解读
Singapore Management University
在 ReAct 的 Action-Observation 空闲窗口并行分叉四路原子思考，融合回下一轮，降低主线程解码与轮次而不损精度
📌 工作参考价值（4 点）
- 把 ReAct 中 Action–Observation 的等待窗口当成免费并行推理资源：Agent 调用商品搜索、用户模拟器或工具返回期间，分叉 Check/Recall/Rehearse/Alternative 四路旁路思考，下一轮提示词直接拼接收获的原子思考，可减少无效轮次；工程上可复用主线程前缀 KV cache，关闭旁路 thinking mode 以快速产出。
- 四类推理维度对应电商对话 Agent 常见失败：假设未验证（库存/优惠条件）、长对话约束遗忘（预算/偏好）、工具结果偏离时重新规划、过早锁定单一策略；可按业务裁剪只保留 1-2 路，例如 Alternative + Rehearse，单分支 API 成本仅增加 16%-35%。
- 原子思考输出契约值得直接抄：用 <thought> 包裹、每条 ≤25 词、无前后引用，中断只丢弃当前单元，适合推送文案生成、搜索 query 改写等任何需要异步生成且可随时截断的场景。
- 延迟收益主要来自主线程 token 减少而非隐藏工具等待，说明把旁路思考预算转到等待窗口比单纯 force 主模型更长推理更划算；若允许主线程等待分支完成，Pass@1 还能再涨 4.7 点，但会牺牲关键路径，适合离线批处理或准实时场景。